iT邦幫忙

2024 iThome 鐵人賽

DAY 1
5
生成式 AI

運用生成式 AI 服務 所提供的API 實做應用開發(以Gemini及ChatGPT為例)系列 第 1

🏆 鐵人賽挑戰:掌握Gemini與ChatGPT API的全方位攻略

  • 分享至 

  • xImage
  •  

https://ithelp.ithome.com.tw/upload/images/20240802/20046160Ow56RJJlTD.png

大綱規劃

大概分成3部分:

  1. 使用 生成式AI 之 API 開發前 需知 ( 通識部分)
  2. Gemini API 開發
  3. ChatGPT API 開發

1:運用生成式AI的API開發前的先備知識

1-1 深入了解生成式AI的歷史與演進

1-2 自然語言處理(NLP)的主要工作與技術

1-3 主流大型語言模型(LLM)的對比與評價

1-4 LLMs API 之後可能功能的展望

1-5 撰寫Prompt與System Instructions的五個基本原則

1-6 人工智慧開發實踐前的 ( LLMs vs LLMs API )選擇指南

1-7 RAG:檢索增強生成技術介紹

2:使用生成式AI 前需面對的挑戰

2-1 處理生成式AI的幻覺問題

2-2 撰寫 System Instructions 的指南

2-3 防範與應對 Prompt inject 注入攻擊

3:深入了解Gemini相關知識

3-1 Gemini相關服務及其發展史簡述

3-2 不同版本的Gemini模型及其應用場景

4:Gemini API基本開發

4-1 Gemini API 介紹 及 運用 ai studio 實作基本 Gemini API串接

4-2 使用 Gemini API 實現檢索增強生成 (RAG) 和模型調優指南(structured data 結構化數據)

4-3 Gemini API: Embeddings 快速入門指南

4-4 Gemini Function Calling 技術說明

4-5 function calling 實作

4-6 Gemini 學習的資源 ex: cookbook 官網

4-7 call Gemini Nano API in Gemini Canary 金絲雀

5:運用 Gemini API 於各類平台串接實作開發

5-1 前言

5-2 開發文字客服類應用 ex: LINE bot

5-2-1 GAS call Gemini API

5-2-2 GAS to be webhook of LINE bot

5-2-3 要求 LLMs 去將上面功能 combine together

5-3 開發實用工具類應用 ex: Chrome Extension

5-3-1 Chrome Extension call Gemini API

5-4 開發網站服務 ex: GAS HTML

5-4-1 GAS 也可以作為網站服務

5-5 開發定期服務 ex: GAS trigger 定期 email 內容

5-6 開發 APP ex: Koltin : Android應用

6:理解ChatGPT的API佈局

6-1 前言 OpenAI 目前對於 API 及 My GPT 的佈局

6-2 其他API相關主題

  1. Plugin API的廢棄與替代
  2. 音頻處理的 Text to speech & Whisper API
  3. 探討Streaming的未來發展與期望

7:My GPT系列

7-1 My GPT基礎設置

7-1 GPTs 介紹

7-2 GPTs 基本實作

7-2 RAG : 新增訓練知識維度資料集

7-3 新增動作 add action (function calling )

7-4 驗證 api key 以 LINE notify 服務 為例

7-5 驗證 OAuth & 回傳網址 實作串接 GMail 讀取及回覆 mail

8:ChatGPT API 介紹

8-1 ChatGPT 的 API Playground 教學

8-2 Chat API 介紹 及 運用 chatGPT playground 做基本串接

8-3 試作與小結

9 Assistants API 操作指南

9-1 深入了解 Assistants API

9-2 運用 chatGPT playground 實作基本 Assistant API 串接

9-3 RAG 向量資料庫訓練

9-4 action (function calling) 撰寫

9-5 cookbook 摘要

10 運用 Assistant API 於各類平台串接實作開發

10-1 前言

10-2 開發文字客服類應用 ex: LINE bot

11 結論

11-1 期待未來

12 附錄:prompt 世代開發必需懂

12-1 backend solution 以 GAS 為例

12-2 markdown 語法

開賽 前言

**2023年的總結與展望:**塞翁失馬 焉知非福

2023年是失去:隨著Google Assistant項目的結束,筆者作為Google Developer Expert (GDE) 的身份也畫上了句號。

另外,筆者投入大量時間和精力準備的線上課程在簽約時也無疾而終。

此外,原本計劃出版的書籍經歷了多次出版社的轉手,但每次在最後階段都被總編輯否決。

展望未來:2024年當個塞翁?

2024年8月,一年一度的鐵人賽又將來臨。雖然年年參與,但每次都僅獲得安慰獎的我,今年決定將原本計劃的線上課程和書籍內容拿來參賽,至少這次內容比往年充實很多的,應該有機會一搏吧。

參賽計劃

  1. 影片組:與生成式AI 之 APP 平台協作的實戰系列

主題:Prompt技巧與實戰Side Project

內容:分享與生成式AI協作的實用技巧和經驗,幫助開發者更好地運用這些工具進行創作和開發。

  1. 生成式AI:運用生成式AI 之 API 服務進行應用開發系列

主題:以Gemini API 及ChatGPT API 為例的實作教學

內容:深入探討如何利用生成式AI服務提供的API進行應用開發,提供詳細的實作步驟和案例。

ps: 寫上 Gemini API 跟 ChatGPT API 內容已經超過 IT鐵人賽 規定的30篇了,如果有機會於入選得獎並成書的話,會在加上 claude API 的部分。

這些內容將在IT鐵人賽上以中文免費發布(也收不了費),其實,這也是當了塞翁的好處,不然怎麼可以把 ChatGPT 跟 Gemini 放一起? #懂的就懂

關於我

我是 Wolke。我是一名專業程式開發者,專長是開發 AI 和程式解決方案。

我投入了不少時間在專業發展上。我是多本書的作者,其中包括《LINE聊天機器人+AI+雲端+開源+程式:輕鬆入門到完整學習》《ChatGPT來襲,未來人人都需具備的運算思維!應用詠唱工程來釋放程式生產力—程式學習/開發篇》。也有出版線上課程,我熱衷於分享我的經驗和技術,幫助其他開發者更好地利用 AI 工具。

也在許多知名大學、論壇、社團擔任講者,如果貴方有需要也歡迎與我聯繫。
2023年 講座 紀錄

最後這篇文章若有切合你的需求,敬請訂閱按讚分享


下一篇
1-1 深入了解生成式AI的歷史與演進
系列文
運用生成式 AI 服務 所提供的API 實做應用開發(以Gemini及ChatGPT為例)44
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言